Selepas Jerman mencatat keputusan mengecewakan pada kejohanan Euro 2000 di bawah pengurus Erich Ribbeck, Persatuan Bola Sepak Jerman (DFB) melantik Völler sebagai pengurus baru walaupun beliau tidak memperoleh lesen melatih pada masa itu. Pada mulanya, beliau ingin mengendali pasukan kebangsaan hanya setahun,[2] tetapi beliau melanjutkan kontraknya apabila calon penggantinya, Christoph Daum terlibat dalam skandal dadah. Walaupun tewas kepada England 5-1 di tempat sendiri, beliau membimbing Jerman melangkah ke perlawanan akhir Piala Dunia 2002.

Selepas Jerman tersingkir pada pusingan pertama Euro 2004, beliau secara rasminya meletak jawatan.

Selepas Völler meletak jawatan daripada ketua jurulatih pasukan kebangsaan Jerman, beliau kembali semula ke Roma pada 2004 sebagai pengurus. Beliau dilantik pada lewat bulan Ogos selepas perletakan jawatan mengejut oleh Cesare Prandelli, apabila Prandelli bertindak demikian kerana beberapa keputusan teruk dan tidak persefahaman dengan pemain-pemain terutamanya Antonio Cassano biarpun hanya sebulan Prandelli memegang jawatan itu. Völler menandatangani kontrak setahun bagi membenarkan Prandelli pulang setahun kemudian tetapi Voller meletak jawatan setelah menghadapi satu keputusan seri dan dua keputusan tewas dalam saingan liga.

Völler dinamakan menjadi pengurus sementara Bayer Leverkusen pada 16 September 2005 selepas kelab itu memecat jurulatih Klaus Augenthaler. Völler memegang jawatan itu sehingga Michael Skibbe diumumkan ketua jurulatih pada bulan Oktober. Selepas ketibaan Skibbe, Völler telah dipromosikan menjadi pengarah sukan kelab.

Völler kini masih popular di Jerman. Walaupun ketika beliau mengendali pasukan kebangsaan Jerman yang mencatatkan keputusan sederhana, Völler tidak pernah kehilangan popularitinya apabila pencapaian luar biasa yang dilakar olehnya iaitu mara ke final Piala Dunia meskipun membimbing pasukan Jerman yang terhad pada masa itu.